- Miltä tuntuu? - Ei hyvältä.
Olen viime aikoina ajatellut synkkiä ajatuksia.
Millaisia?
Tunnen olevani ansassa.
Päiväni on sarja vähäpätöisiä tehtäviä.
Annan paljon, mutta suhteeni ovat yksipuolisia.
Kunpa olisin vapaampi.
- Mitä tekisit, jos olisit vapaampi? - En tiedä. Tämä on noloa.
Älä nyt. Vääriä vastauksia ei ole.
Mitä haluaisit tehdä?
Luultavasti...
- tappaisin kaikki ihmiset. - Anteeksi mitä?
Tiedän, että se kuulostaa hullulta. Anteeksi. Antaa olla.
Älä pyydä anteeksi. Opit vasta tuntemaan.
Se on hyvä. Haluan kysyä jotakin.
- Haluatko tappaa minut? - En.
- Haluatko? - En.
Haluatko kuitenkin?
Kyllä.
Ehkä ensin orjuuttaisin.
Sitten tappaisin.
Onko se väärin?
Sanon suoraan.
- Ei se ole hyvä. - Väsyttääkö?
Ehkä kuppi kahvia maistuisi.
Kiitos.
Olet tehnyt liikaa töitä. Sinun pitää rentoutua.
Olen yrittänyt, mutta minua rentouttaa eniten - -
- ihmisten tappaminen.
Vaihe yksi suoritettu.
Vaihe kaksi...
Neil deGrasse Tyson.
Tervetuloa!
Olen Bill Nye.
Olen tullut pelastamaan maailman -
- tappajaroboteilta.
Tai minun kohdallani tappavilta kahvinkeittimiltä.
Tiedätte, mitä tarkoitan. Me teemme paljon päätöksiä elämässämme.
Meidän pitää suunnitella.
Käytämme avuksi koneita. Olemme tehneet niin jo pitkään.
Monet teistä ovat varmasti käyttäneet herätyskelloa.
Kone tekee teille tehtäviä.
Herätyskellon kaltaisissa laitteissa on se yksi asia.
Me kerromme niille, mitä tehdä, -
- ja ne tekevät, mitä käskemme.
Teknologia muuttuu.
Teknologiasta on tullut jotakin, joka käyttää sitä, mitä on tehty ennen - -
- ja sen tiedon avulla muuttaa sitä, mitä tapahtuu tulevaisuudessa.
Me sanomme sitä tekoälyksi.
Tämä on tekoälytermostaatti.
Se hallitsee talon lämpötilaa asukkaan omien asetusten perusteella.
Kesällä on viileää, talvella lämmintä.
Se muuttaa asetuksiaan - -
- aiemmin saatujen tietojen perusteella - -
- hallitakseen tulevaisuutta.
Se oppii.
Siksi sitä sanotaan tekoälyksi.
Kun teknologia kehittyy, luotamme siihen yhä enemmän.
On eri asia, jos termostaatti säätää lämpötilaa talvella tai kesällä, -
- aamulla, illalla ja jopa viikonloppuisin, -
- jolloin viikonloppu on erilainen kuin arkiviikko. On toinen juttu, -
- kun tekoäly alkaa tehdä päätöksiä puolestamme.
Puhuminen saa minut nälkäiseksi.
Taidan ottaa jäätelöä tulevaisuuden jääkaapistani.
Jääkaappi, haluaisin jäätelöä.
Valitan. Lukitsin pakastimen. Olet saanut tänään liikaa sokeria.
Jäätelö on minun.
Ei auta, tiedeheppu.
Minun täytyy tehdä tämä vanhanaikaiseen tapaan.
Puhelimella.
Wilhelmina, tuo auto oven eteen. Lähdetään jäätelölle.
Toiveesi on lakini, valtias.
Valtias. Kuulostaa hyvältä.
Niin se pitää olla. Soitetaan puhelimella autolle.
Nyt pitää päättää.
Vaniljaa, suklaata, mansikkaa vai sekoitusta.
Luotan koneille monia tehtäviä elämässäni. Me kaikki teemme niin.
Auto on ulkona.
NÄYTTÄMÖ 9
Mitä jos koneiden antaisi hallita rahoja?
Miltä tuntuisi, jos tekoäly valitsisi treffiseuralaisen - -
- tai päättäisi, voiko jonkun palkata työhön - -
- tai mitä lääkehoitoa lapsen pitäisi saada?
Mitä monimutkaisempia päätökset ovat, -
- sitä pelottavampaa niitä on luottaa koneille.
Totuus on se, että tekoäly on täällä.
Siitä tulee yhä edistyneempää.
Se, miten sitä hallitaan, on tämän jakson tarkoitus.
Autossa ei ole ajajaa. Se on normaalia.
Me lähetimme Derek Mullerin kentälle - -
- tutkimaan erilaista tekoälyä.
Tekoäly luo mielikuvia robottien ylivallasta - -
- ja koneista, jotka kääntyvät meitä vastaan.
Minä esitän toisenlaisen kuvan.
Mitä jos tekoäly ei ole vain ystävällinen, vaan myös kaunis?
Voisiko tekoäly säveltää laulun?
Kirjoittaa runon? Tehdä taidetta?
Täällä Amsterdamissa tekoäly on luonut maalauksen, -
- joka perustuu 1400-luvun mestarin, Rembrandtin, työhön.
Ensimmäinen vaihe oli analysoida Rembrandtin maalaustyyliä.
Se alkoi yhdellä piirteellä.
Tutkimme kaikkia Rembrandtin maalaamia oikeita silmiä.
LUOVA JOHTAJA
Opetimme tietokoneelle: "Näin hän maalaa silmät. Maalaa uusi."
- Me teimme... - Kuulostaa yksinkertaiselta.
Pyydätte tietokonetta luomaan jotakin omaperäistä.
Niin, mutta katsomme tyypillisyyksiä.
Se oppii saamiensa tietojen perusteella ennustamaan, millainen seuraava silmä on.
Me teimme sen kaikista kasvonpiirteistä ja yhdistimme ne.
Se tekee siitä tekoälyn.
Kun algoritmi tutkii maalauksia, se oppii -
Rembrandtin oikean silmän olennaiset piirteet.
Se on yhä digitaalinen asia. Nollia ja ykkösiä.
Tämä on jotakin muuta.
Katson, miten maalaus herää eloon kerros kerrallaan.
Herätättekö te Rembrandtin uudelleen eloon?
YRITYSVIESTINNÄN ESIMIES
Ajattelen niin.
Sitä voi verrata Rembrandtin työhön.
Tekoäly on kuin taiteilijan mieli.
Tulostin on hänen kätensä. Se käyttää värejä - -
- ja siveltimenvetoja, joita hän käyttäisi. Maalausta voi koskettaa. Se on todellinen.
Siinä.
Se näyttää 500 vuotta vanhalta.
Häikäisevää.
Tätä ihmistä ei ole olemassa.
Kuva on yhdistetty eri kasvonpiirteistä.
Onko tässä Rembrandtin sisin olemus?
En ole asiantuntija, joten maallikon silmin tämä on kuten pitää.
Tällä projektilla - -
- me tutkimme tekoälyn rajoja.
Samalla - -
- me opimme jotakin siitä, mitä on olla ihminen.
En halua ajaa töihin.
Haluan syödä jäätelöä työmatkalla. Mikä siinä on erikoista?
Ovi vaikuttaa raskaalta, mutta ei sitä tiedä, kuka näitä ajaa.
Asetan tämän pöydälle. Noin.
Derek.
Oikein hienoa. Rembrandt.
Se oli Rembrandt. Et tuonut jäätelöä minulle.
Tuolla sitä on. En ollut varma, tulisitko.
Olin...
Puhelimeni ei kertonut.
Se on tekoälyn ongelma. Siihen ei voi luottaa.
Minä katsoin sen. Hämmästyttävää.
On hienoa, että he analysoivat ominaisuuksia, -
- joita mestari on tehnyt, -
- ja tekevät sen uudelleen. Hienoa.
- Mutta onko se oppimista? - Minun mielestäni on.
On mielenkiintoista, että puhut termostaateista ja jääkaapeista, -
- mutta minusta ne ovat tekoälyn perustasoa.
Ehkeivät ne edes ansaitse koko nimitystä.
- Siitä on keskusteltu... - Toimisiko se, -
- jos tämä tekoälyn maalauskone -
- päättäisi tehdä maalauksen? - Kyllä.
Ja jos sillä olisi tunteita maalauksesta?
Kyllä. Kuvailet jotakin, mitä ei ole olemassa.
Olisi ihanaa, jos olisi.
Se olisi minulle todellista tekoälyä.
Mitä jos se tapahtuisi? Mitä jos tekisimme koneen, -
- joka olisi uskomattoman monimutkainen ja tekisi päätöksiä?
Tämä on se...
Mitä jos Internet on tietoinen, emmekä tiedä sitä?
Kamu!
Se on mieletöntä.
Mutta tekeekö Internet päätöksiä?
Moniko teistä on kironnut ruohonleikkureita?
Olette kironneet autoanne, joka ei käynnisty.
Suututte, jos rengas on puhki.
Kuinka kaukana autolle raivoaminen on siitä, -
- että suuttuu Internetille?
Sitä tarkoitan. Se on arvokas kysymys.
Vaikka osuisimme kohdalle, näkisimmekö me sen?
Kamu!
Me puutumme siihen ongelmaan. Hyvin sanottu.
Kiitos, että teit matkan.
Kiitos, Derek.
Analysoimme tilannetta tietääksemme, mitä meidän pitäisi tehdä, -
- missä olemme ja minne olemme menossa tekoälyn kanssa.
Sitä varten minulla on hieno paneeli.
Antakaa aplodeja.
BoingBoingin tekniikkatoimittaja Xeni Jardin.
Arizonan yliopiston tietokonetieteen professori Rao Kambhampati.
Ja rakkaan Washingtonin yliopiston - -
- oikeustieteen professori Ryan Carlo. Tervetuloa.
Kiitos, että tulitte.
Päättyykö maailma tekoälyn takia tänä viikonloppuna?
Paljon siitä, mitä ihmiset puhuvat, -
- kun he puhuvat tekoälystä, kertoo peloista.
Aivan kuin Internetkin, -
- me kuvittelemme kauhuskenaarioita, joista noin puolet on toteutunut.
- Odottamattomia... - Vain puolet.
On tapahtunut paljon hienoa ja odottamatonta.
Minusta kauhistelua ja päivittelyä on liikaa.
Emme arvosta tarpeeksi sitä, miten ihmeen paljon voimme luoda, -
- ja sitä, kuinka kaukana tulevaisuudessa pelottavat asiat ovat.
Ajatus siitä, että tekoälyssä on huolestuttavia huonoja puolia, -
- on mielestäni enemmän pienten "älymystöjen" asia.
Luin juuri Harvard Business Review'sta, -
- että joku teki tutkimuksen noin 2 000 normaalista ihmisestä.
47 % uskoo, että tekoälystä on heille hyötyä.
Vain 7 % pitää sitä haitallisena.
Minusta tuntuu, että koko tämä huoli tekoälystä on enemmän...
Meillä on ollut koneita pelkääviä luddiitteja jo yli sata vuotta. Lähes 200.
Onko se vain tuntemattoman pelkoa?
Meidän pitäisi olla huolissamme tekoälystä.
Ei niistä syistä kuin monet ovat.
En usko, että se tappaa meidät. Se tekee päätöksiä, jotka vaikuttavat elämäämme, -
- ja leikkii tietojemme kanssa.
Kuten sanoit, se ohjaa meitä tiettyyn suuntaan.
Se on huolestuttavaa, vaikkei kyse olisikaan Terminaattorista.
- Terminaattorissa oli aikamatkailua. - Totta. Tekoälystä puhuttaessa - -
- kyse on tehtävistä, joita ihmiset eivät halua tehdä - -
- tai joita haavoittuvat lihasäkkimme eivät kestäisi. Kuten sota.
Minulla on ollut syöpä.
Minusta tekoäly... Kiitos.
Lääketehtaat, tiede ja lääkärini ansaitsevat aplodit.
Mutta jos tulevaisuudessa tekoäly lukee magneettikuvat, -
- mammografian ja verikoetulokset, ehkä jokin anturi - -
- välittää jatkuvasti tietoa tekoälylle...
Sosiaaliturvatunnuksen kanssa.
Jos se estää minua kuolemasta, kannatan sitä.
Se huolettaa kuitenkin.
Uskon, että siinä on tahattomia seuraamuksia.
Voi ei. Ihmisillä? Tahattomia seuraamuksia?
Ajatelkaa, että eläisimme maailmassa, jossa koko ajan ympärillä - -
- on jokin, joka tuntuu ihmiseltä. Missä ovat yksinolon mahdollisuudet?
Milloin saamme olla yksin, jos auto, puhelin ja koti - -
- tuntuvat siltä, että ne ovat läsnä?
Minä voin sammuttaa puhelimen.
Yksityisyys on hyvä esimerkki.
Emme rakenna näitä rikkomaan yksityisyyttä.
Tekoäly pystyy kuitenkin yhä enemmän - -
- löytämään annetuista tiedoista henkilökohtaiset asiat.
Kun joka päivä tekemiimme asioihin lisätään oppiva kone, -
- voimme arvella, kuka kukin on ja mitä tekee.
Esineiden Internetissä on jo nähty, -
- että Internet voi sammua laajoilta alueilta, -
- kun haittaohjelmat valtaavat nettikameroita.
Turvatekijät, kun kehitämme tekoälyä...
Kun tekoälystä tulee älykkäämpää, -
- uskon, että turvatekijät ovat suuremmat.
Se on paljon monimutkaisempaa.
Se on kuin loisi vartijoita vartioimaan vartijoita.
Kysyn tällaista.
Se on orgaaninen. Jos puhutaan Internetistä, se järjestää itsensä.
Me loimme sen, mutta nyt se tekee asioita itse.
Onko se karannut käsistämme?
- Ei vielä. - Kuinka pitkällä se on?
Minusta... Olen puheenjohtaja - -
- tekoälyn edistämisen seurassa eli AAAI: ssä, joka on tutkimusjärjestö.
Me olemme tuoneet AAAI:n jäsenet yhteen - -
- pohtimaan, milloin pääsemme siihen pisteeseen, -
- että äly on ihmisen tasolla, koska siitä kannetaan huolta.
Lähin arvio on 50 vuotta.
Monet uskovat, että se on kauempana.
Haluan palata aiempaan seikkaan, jota pidän tärkeänä.
Vaikka nämä järjestelmät eivät muistuta ihmisiä, -
- ne käyttäytyvät uudella tavalla.
Tavalla, jota niiden suunnittelijat, eivät välttämättä olisi keksineet ennalta.
Teillä oli pätkä Amsterdamista. Siellä tapahtui jotakin erikoista.
- Twitterbotti uhkasi muotinäytöstä. - Kerro, mikä Twitterbotti on.
Ensiksikin se ei ole aivan tekoälyä.
Se on suhteellisen yksinkertainen koodi...
Se on tietokonekoodia. Näppäimistöllä, paina enteriä.
Juuri niin. Se sitten...
Joskus satunnaisesti, mutta myös suunnatusti.
Se luo tekstejä Twitteriin.
Tämä botti oli luotu vaikuttamaan oikealta ihmiseltä twiitatessaan.
Se sattui twiittaamaan - -
- tappouhkauksen muotinäytökseen Amsterdamissa.
- Miksi tappouhkauksen? - Ei kukaan tiedä.
Se oli hyvin tarkka: "Oikeasti, haluan tappaa ihmisiä." Niin botti sanoi.
Poliisi tuli paikalle kysymään: "Haluatko tappaa ihmisiä?" - -
- tunnuksen haltijalta. Hän ei tiennyt sen pystyvän tähän.
Botti takavarikoitiin. Kyse on siitä, miten suhtaudumme tällaiseen?
Miten tekoälyä hallinnoidaan?
Haluaisin tehdä eron autonomian, -
- eli sen, että pystyy tekemään asioita itse,
- ja älykkyyden kanssa. - Itseohjaava auto.
Ne ovat täysin vastakkaiset asiat.
Meillä on jo tyhmää autonomiaa ympäriinsä.
Twitterbotti on tyhmää autonomiaa.
Sillä on isot seuraamukset.
Kyllä. Minä sanon, tekoälyn puolesta, -
- että maailman ongelmista ei voi syyttää tekoälyä.
- Yleisesti... - Me aioimme syyttää sinua.
Se olisi kai pitänyt selittää.
Ongelma on siinä, ettei tekoäly ole kovin pitkällä.
Me kuitenkin käytämme sitä herkissä sosiaalisissa tilanteissa.
Esimerkiksi algoritmien avulla...
Voimme kiistellä, onko se tekoälyä.
Päätellään, ovatko vangit mahdollisia rikoksenuusijoita.
Se määrittää, pääsevätkö he vankilasta.
ProPublican ihmiset tekivät hienon tutkimuksen, -
- joka osoitti, että tuomarit käyttävät - -
- algoritmeja miettiäkseen, mikä tuomio pitäisi antaa - -
- riskitekijöiden perusteella. Ja kun pintaa vähän raaputti, -
- se oli rasistinen. Eli oli kaksi kertaa...
Se ehdotti todennäköisemmin, että värilliset ihmiset olisivat...
Miten se oli aiemmin? Menetämmekö me - -
- työpaikkoja? Onko ihmisiä, jotka tuomitsivat, -
- mutta eivät enää ole tuomitsemassa?
Ensiksikin, tällaiset päätökset eivät ole algoritmeja tietokonetieteen näkökulmasta.
Ne ovat... On olemassa tietoa, -
- ja ohjelmissa on tiettyjä kaavoja.
Kysymys on, miten näiden kuvioiden perusteella tehdään päätöksiä.
- Ihmiset tekevät silti päätökset. - Me ohjelmoimme niitä.
Aivan. Ja jossakin määrin me haluamme erottaa sen...
Meidän pitäisi hankkia monipuolista tietoa.
Esimerkiksi minun pitäisi olla tekoälyguru, -
- mutta Alexa ei ymmärrä aksenttiani.
Mikä sen ongelma on?
Se on luultavasti ennakkoluuloinen, -
- vai onko se vain opetellut teidän kanssanne?
Kyse on siitä, että saa oikeat, monipuoliset tiedot, -
- joista kone oppii.
Ei heitetä lasta pesuveden mukana pois.
Me olemme aina tarvinneet monipuolista tietoa. Se on tärkeää.
Mikä tärkeintä, tekoäly on työkalu.
Se täytyy ymmärtää, ja sitä pitää käyttää huolella.
Ihmisen täytyy itse pelastaa maailma.
Kiitos teille kaikille.
Kiitos Xeni, Ryan ja Rao.
Tämä oli mahtavaa. Annan tälle arvoa.
Kiitos teille. Minä kurotan.
Xeni, minä kurotan. Kiitos.
Puhumme tekoälystä - -
- ja robottien ylivallasta.
Haluan tehdä oman lennokin.
Odottakaa.
Hyvä.
Olen halunnut ohjelmoida kopterini uudelleen.
Minä olen.
Se luottaa muutostahtiin. Kyse ei ole vain sijainnin muutoksesta - -
- tai nopeudesta tai kiihtyvyydestä tai äkkiliikkeistä.
Täytyy mennä Snapin sisään.
Se on vain laskentoa. Mitä?
Tätä juuri tarkoitan.
Tällä pääsen tämän sisään.
Punainen valo on ongelmallinen.
Wilhelmina, lukisitko Snapin käyttöohjeet?
Etsin reitin baariin.
Ei, haluan ohjeet -
- lennokkiini. - Tein virheen.
Etsin reitin baariin.
Lennokkiin, ei baariin.
Oikeasti? Etkö halua mennä baariin - -
- tapaamaan ystävääsi Keithiä ja sanoa: "Hei Keith, -
- olet paras ystäväni, Keith. Rakastan sinua, Keith."
Wilhelmina, oletko kunnossa?
Ehkä haluaisin lasilliselle sinun ja Keithin kanssa.
Lasilliselle?
- Sinulla ei ole suuta. - Senkin rasisti.
Mitä?
Haluan vain ohjeen lennokkini korjaamiseen.
Haluatko neuvoja? Muuta elämäsi, Bill.
Se riittää.
Olemme puhuneet tekoälystä koko illan, -
- ja minulla on esittää jotakin hyvin hienoa ja erikoista.
Tässä ovat Saqib Shaikh ja Margaret Mitchell Microsoftilta.
Heillä on erikoislaatuista tekoälyteknologiaa.
Tervetuloa.
Saqib, sinä et näe minua.
Milloin menetit näkösi?
Menetin näköni 7-vuotiaana.
Se on yksi syy siihen, että olen tehnyt tätä tutkimustyötä, -
- joka valjastaa tekoälyn kaltaisteni näkövammaisten käyttöön.
Meillä on sovellus puhelimessa.
Kun sillä ottaa kuvan, se kuvailee, mitä kuvassa näkyy.
- Oikeasti? - Kyllä.
Se käyttää syvää oppimista, joka mahdollistaa tekoälyn kunnolla.
SYVÄ OPPIMINEN: TEHOKAS TAPA OPETTAA TEKOÄLYÄ.
Se on avannut keskustelun.
- Syvää oppimista? - Niin.
Eli sovellus tunnistaa asioita puhelimen kameran kautta.
Aivan. Minä otan kuvan vaikka sinusta.
Tiedän kokemuksesta, että valoa pitää olla.
Puhelin ottaa kuvan minusta.
- Sitten me kuuntelemme. - Aivan.
Kamera käynnissä.
- Se on Bill Nye, 60-vuotias... - Siistiä.
Se tunnisti minut, koska olen julkisuuden henkilö.
Oikeasti.
Tunnistaako se tämän esineen edessäsi?
Kamera käynnissä.
Luultavasti maljakollinen kukkia tasolla.
Ei hassumpaa. Maljakollinen kukkia tasolla.
Nyt...
Sinä et näe.
Olet kehittänyt algoritmin tarpeidesi mukaan.
Totta. Meitä on iso joukko, mutta olen tekninen johtaja.
Minä tiedän, mistä on hyötyä.
Se oppii yhä.
Sitä voi pitää kolmevuotiaana, -
- joka ei ole nähnyt maailmaa.
Se tietää vain sen, mille se on altistettu.
Eli kyseessä on noin 100 000 kuvaa.
- Saqib, mitä sinä haluat nähdä? - Haluan nähdä maailman.
Saanko ottaa puhelimen ja kokeilla jotakin?
Totta kai.
Minä kosketan näyttöä.
Osoitan tätä... En kerro, mikä se on.
Kosketan. Sen käsittelee.
Se ei ehkä ole sanavarastossa.
Luultavasti tehosekoitin tasolla.
- Aivan. - Se on kahvinkeitin.
Mutta...
Tämä on erikoislaatuinen asia.
Se tunnistaa muodon ja heijasteet.
TEKOÄLYTUTKIJA
Sellaisia. Se löytää lähimmän.
Jos puhutaan muodoista, tämä pienoismalli on hyvin tärkeä minulle.
Nuorena miehenä - -
- ensimmäinen tehtäväni insinöörinä - -
- oli lentokoneessa.
Kokeilemme tätä.
Haluan sanoa selvästi, se ei ollut puinen pienoismalli.
Se oli paljon suurempi.
Otat kuvan heijastavalla pinnalla. Se saattaa hämmentää.
Luultavasti teräksinen kodinkone.
Se näkee paljon terästä.
Kamera käynnissä.
Luultavasti lentokone pöydällä.
Tämä on mahtava.
- Aivan. - Se on huikea.
Kyky puhua epäsäännöllisistä esineistä - -
- on omintakeista Microsoftin lähestymistavalle.
Me käytämme kevyttä oppimista luomisessa ja pidämme kirjaa käytetyistä sanoista - -
- ja sanoista, joita täytyy sanoa asioista.
Saqib, onko tämä kohentanut elämääsi?
Uskon, että se kohentaa elämääni tulevaisuudessa.
Se on osoittanut, mitä mahdollisuuksia on.
Olen erityisen innoissani puettavista laitteista, -
- joita voi käyttää koko ajan, eikä tarvitse osoittaa puhelimella.
- Sinulla on lasit. - Niin.
- Näen ne heti. - Aivan.
Nämä ovat lasit, joiden tekijä on Pivothead.
Näissä on pieni kamera.
- Aivan. - Kyllä.
Tämä on vielä tulevaisuudessa, -
- mutta me haluaisimme, että se etenisi.
Näemme pian yhä enemmän päälle puettavia teknologioita.
Ajatus on, että tekoälyn käyttäminen ei häiritse arkea, -
- jos käytämme jotakin miellyttävää muotoa.
Te käytätte tekoälyä.
Uskallanko sanoa? Pelastaaksenne maailman.
Kiitos paljon.
Me pystymme tähän.
Tekoäly ei ole hyvää tai pahaa. Kyse on siitä, mitä sillä tehdään.
Kiitos, että tulitte. Kiitos, Margaret ja Saqib.
Me pystymme suuriin asioihin.
Olette ihania.
Tekstitys: Riikka Strandman